Decision-Aligned Evaluation of Uncertainty Quantification
决策对齐的不确定性量化评估
🧭 决策对齐的不确定性评估
Technical University of Munich · Helmholtz AI · MCML · Konrad Zuse School of Excellence in Reliable AI · LMU Munich
提出决策对齐准则与先验加权效用度量，使不确定性评估能真正反映下游决策效用
📌 工作参考价值（4 点）
- 在点击率/转化率预估的不确定性评估中，避免仅依赖 NLL 或 ECE，而是直接使用与业务决策（如广告出价、推荐排序）对应的效用函数，构建决策对齐的离线评估指标。
- 当有业务先验（如商品热度、用户活跃度）时，可将其编码为先验权重，设计先验加权效用度量，使 UQ 模型的选择自动偏向对高频或高价值样本更准确的预测。
- 在 Agent 或推荐系统的策略学习阶段，用决策对齐的评分规则作为 reward 或验证标准，驱动模型不确定性估计更符合最终线上收益。
- 工程上，可参考文中的先验加权评分规则实现，只需在现有对数得分基础上乘以由决策先验和效用函数决定的权重，低成本将通用 UQ 评估升级为决策敏感的版本。